| Félix-François d'Espie | Propriétaire initial et commanditaire de la construction de l'hôtel. |
| Hyacinthe de Labat de Savignac | Architecte ayant conçu l'hôtel avec des innovations anti-incendie. |
| Henri Auguste de Chalvet | Marquis de Merville, acquéreur et continuateur des travaux. |
| Justin MacCarthy-Reagh | Comte ayant achevé les travaux et constitué une bibliothèque. |
| Augustin-Laurent de Rémusat | Préfet ayant fait de l'hôtel le siège de l'administration toulousaine. |